1.1 Performance Estimation: Generalization Performance vs. Model Selection
the estimated performance of a model tells how well it performs on unseen data
「モデルの推定性能 (estimated performance) はモデルが未知のデータにどのようにうまく振る舞うかを伝える」
モデルの性能を見積もるための3つのサブタスク
1. We want to estimate the generalization performance, the predictive performance of our model on future (unseen) data.
「汎化性能、すなわち将来の(未知の)データについてのモデルの予測のパフォーマンスを見積りたい」
2. We want to increase the predictive performance by tweaking the learning algorithm and selecting the best performing model from a given hypothesis space.
「学習アルゴリズムを調整し、与えられた仮説空間から最良の性能のモデルを選択することで、予測性能を高めたい」
3. We want to identify the machine learning algorithm that is best-suited for the problem at hand; thus, we want to compare different algorithms, selecting the best-performing one as well as the best performing model from the algorithm’s hypothesis space.
「問題に一番適した機械学習アルゴリズムを特定したい」
「アルゴリズムの仮説空間からだけでなく(アルゴリズム間でも)最良の性能のモデルを選択するために、異なるアルゴリズムを比較したい」
サブタスクは異なるアプローチを要求する (they all require different approaches)
biased performance estimates are perfectly okay in model selection and algorithm selection if the bias affects all models equally
「バイアスがどのモデルにも等しく影響するならば、バイアスのある性能推定でもモデルの選択やアルゴリズムの選択には完璧に大丈夫」
相対的な性能を知って比較できるから
バイアスが等しいのでバイアスなしと比較結果は変わらない
悲観的なバイアスの例
サブタスク1の予測パフォーマンスの見積りは、バイアスにより不正確(inaccurate)となる